Phần bìa album được chụp bởi nhiếp ảnh gia Bob Freeman. McCartney có giải thích về việc thực hiện bức ảnh này trong Vol.5 của The Beatles Anthology. Freeman có chụp một vài bức ảnh ban nhạc tại nhà riêng của Lennon ở Kenwood, Weybridge, và hỏi họ liệu có thể lên bìa của album. Freeman chỉnh sáng phần nền, kéo giãn tấm hình rồi chỉnh sửa kích thước cho phù hợp. Quá thích thú với hiệu ứng, các Beatle thốt lên: "Ah! Liệu chúng ta có thể dùng nó? Ông có thích như vậy không?" và ông gật đầu[24].

Phần chữ được làm riêng bởi Charles Front, với kiểu chữ sau này được bán đấu giá tại Bonhams, công ty đại diện của Robert Freeman[25]. Capitol Records dùng màu chữ khác trong bản bán tại Mỹ, bởi vì màu cam mà Parlophone gửi mẫu cho họ bị lỗi. Trong vài ấn bản của Capitol, dòng chữ có màu nâu hoặc vàng. Trong bản CD năm 1987, dòng chữ thậm chí có màu xanh lá. Kể từ năm 2009, các ấn bản trở lại màu cam nguyên thủy.

Rubber Soul là album đầu tiên mà ban nhạc không để tên của mình lên bìa album. Dù đây không phải là album đầu tiên thực hiện điều đó trong lịch sử nhạc pop/rock (Elvis Presley, Them và The Rolling Stones đều làm điều tương tự trước đó), song cách làm này chưa phổ biến trong những năm 60. Sau này, các album Revolver, Abbey Road, Let It Be và Hey Jude cùng không đề "The Beatles" vào phần bìa. Thậm chí Album trắng còn không có một chữ gì ngoài dòng "The Beatles" được giập nổi.

George Harrison nói: "Chúng tôi đã quên không thể hiện trên ảnh bìa chút hồn nhiên, ngây thơ. Rubber Soul là album đầu tiên mà chúng tôi trông giống những kẻ nghiện thuốc thực sự."

McCartney nghĩ tới việc đặt tên album sau khi nghe nói về Mick Jagger là một "plastic soul"[gc 3]. Trong bài phỏng vấn trên tờ Rolling Stone năm 1970, Lennon nói: "Đó là một cái tên của Paul,... theo tiếng Anh thì chỉ là tâm hồn. Vui thôi."[26] McCartney khẳng định điều tương tự: "Plastic soul, man, plastic soul,..." trong đoạn kết của "I'm Down" ở Anthology 2.